﻿ ESTIMARE PRIN METODA MOMENTELOR Introducere Metoda momentelor conduce la un estimator ușor de determinat şi uşor de implementat Estimatorul nu are proprietăţi de optimalitate dar, cum el are proprietatea de consistenţă (convergenţă în probabilitate), dacă înregistrările sunt lungi, este util în practică Chiar dacă performanţele estimatorului obţinut nu sunt corespunzătoare, el poate fi folosit ca o estimare iniţială, ce poate fi îmbunătăţită prin aplicarea metodei Newton-Raphson care conduce la un estimator de plauzibilitate maximă, ML 1 Plecăm de la un exemplu, în care se observă N eşantioane de date IID, x[n], ce constă dintr-o mixtură de două secvenţe gaussiene Cele două secvenţe au mediile nule şi dispersii diferite Amestecul este modelat prin parametrul de amestec, ε, care se consideră a fi necunoscut Densitatea de probabilitate a datelor x[n] este 22 ⎧⎫⎧⎫ [][] 1xnxnεε − ⎪⎪⎪⎪ =−+− [] () ⎨⎬⎨⎬ 22;exp exppxnε πσ πσ ⎪⎪⎪⎪ 12122222σσ ⎩⎭ ⎩⎭ ∈ =− + εε ε ()() [][] ()() 1 ;12 0, 1xn xnφφ În figură se reprezintă densitatea de repartiţie a datelor pentru dispersiile de 1 şi 25 şi valoarea parametrului de amestec de 0 2 22 ε== 121, 25, =0 2σσ 2 1 Dacă dispersiile sunt cunosuteşi trebuie estimat, din date, parametrul de amestec, metoda momentelor oferă o soluţie simplă Avem, pentru media şi dispersia datelor x[n] ∞∞∞ ;1 0E x n xp x dx x x dx x x dxφφεε ε==− += ( ) ( ) () () [] {} 12∫∫ ∫ −∞ −∞ −∞ ∞ 22 ;Disp x n E x n x p x dxε== () [][] {} {} ∫ −∞ ∞∞ 22 =− + εε () () () 1xxdx x xdxφφ12 ∫∫ −∞ −∞ 22 1σσ=− + εε () 12 3 Conform legii numerelor mari, cu probabilitate 1 avem 1N− 1kk ⎯⎯⎯→ [] [] {} ∑ NxnExn→∞ 0nN= Pentru cazul mediei eşantion avem asigurată convergenţa spre media statistică 1N− 1 ⎯⎯⎯→ [] [] {} ∑ NxnExn→∞ 0nN= Pentru exemplificare considerăm un şir de N=500 de date pentru care media statistică este 0 5 Se vede, din figură, că media aritmetică converge spre 0 5 Putem deci face, pentru N suficient de mare, aproximările 11NN−− 2211 →∞ , , NExn xn Ex n x n≅≅ [][] [][] {} {} ∑∑ 4 00nnNN== 2 Cu aceste aproximări putem deduce relaţia 1N− 2221 σεε=− + () [] ∑ 121xnσ 0nN= din care se determină expresia estimatorului 1N− 221 − [] ∑ 1xnσ 0nN= εˆ = 22 − 21σσ Se poate verifica, prin calcul direct, că estimatorul este nedeplasat Avem 11NN−− ⎧ ⎫ 22 2 211 11⎧⎫ ˆxn xnσ =−= − ε [][] {} {} ⎨⎬⎨ ⎬ ∑∑ 1122 22EE Eσ −− σ 00nnNNσσ== ⎩⎭⎩ ⎭ 21 21 σ 1N− 22211⎧⎫ ⎡⎤ 1σσ σεεε =−+−= () ∑ 12122⎨⎬ ⎣⎦ − 0nNσσ ⎩⎭ 21= 5 Se poate calcula şi dispersia estimatorului 21N− ⎧⎫ ⎪⎪ 211σ ˆDisp Disp x nε =+ [] {} ⎬ ∑ 22 22⎨ −− σ 0nNNσσ = ()() ⎪⎪ 21 21 σ ⎩⎭ 1N− 21 Disp x n= [] {} 22 2∑ − 0nNσσ () 21= Dar dispersia datelor x[n] se poate exprima în funcţie de momentele de ordin 2 şi 4 2422 Dispxn Exn E xn=− [][][] {}{}{} ∞∞ 2 44 22 ⎡⎤ σσεε εε =− + − − + ( ) () () ( ) 12 1211x x dx x x dxφφ ∫∫ ⎣⎦ −∞ −∞ Momentul de ordinul 4 al unei variabile aleatoare gaussiene se ştie că este ∞∞ 444 4 σφσ== () () 112 23; 3x x dx x x dxφ 6∫∫ −∞ −∞ 3 Prin calcul direct se obţine momentul de ordinul 4 2 44422 ⎡⎤ =− + − − + σσεε εε () () [] {} 12 1213 3 1Disp x nσσ ⎣⎦ În final rezultă disperia estimatorului 21 24422 ⎡⎤ σσεε εε =−+−−+ () () [] {} 12 122213 3 1Disp x nσσ {} ⎣⎦ − () 21Nσσ Reamintim că 1N− 22221 σεε⎯⎯⎯→ = − + () [] [] {} ∑ 121Nxn Exnσ→∞ 0nN= Se poate vedea că dispersia estimatorului pentru parametrul de amestec tinde asimptotic spre zero 0ˆDispε⎯⎯⎯→ {} 7N→∞ Putem rezuma metoda momentelor Se ţine seama de 1N− 1 ⎯⎯⎯→ = [] [] {} ∑ NkxnExnμ→∞ 0nN= Se exprimă momentul statistic în funcţie de parametru necunoscut hμθ= () k Se exprimă parametrul necunoscut în funcţie de momentul statistic 1− hθμ= () k Se estimează momentul statistic prin media aritmetică 1N− 1k ˆxnμ [] ∑ k= 0nN= Se obţine, prin substituire, estimatorul parametrului necunoscut 1N− ⎛⎞ 11k− ˆ = hxnθ [] ∑ k⎜⎟ 8N 0n= ⎝⎠ 4 Pentru exemplificare considerăm problema determinării componentei continue din datele afectate de un zgomot alb, gaussian 2 ; 0,1, , 1; 0,xn A wn n N wnσ=+ = −∼N [][][] () Se ştie că media statistică este chiar componenta continuă, A Exn Aμ== [] {} Dar media statistică se aproximează cu media eşantion, conform legii numerelor mari Rezultă imediat estimatorul 1N− 1 xxn A== [] ∑ 0nN= Un alt exemplu este legat de determinarea parametrului λ dintr-o repartiţie exponenţială ⎡⎤ xnλ− ⎣⎦ ⎧ ≥ ; 0exnλ ⎪ [] = ;pxnλ [] () ⎨ 0; 0xn< [] ⎪ ⎩ 9 Media variabilei exponenţiale ∞ xλ − Exn xe dxμλ== [] {} ∫ 0 se calculează ca mai jos ∞ 11∞ ⎛⎞ xxλλ−− ==− + Exn x e e dxμλ λ [] {} ⎜⎟ ∫ 0λλ 0⎝⎠ ∞ 11∞ xxλλ−− − = edx e== ∫ 0λλ 0 10 5 Conform legii numerelor mari 1N− 1 →∞ Exn xn N≅ () [][] {} ∑ 0nN= Rezultă, în final 1 ˆ λ= 1N− 1 xn [] ∑ noN= 11 6